Dual-Grained Agent Memory and Shapley Context Attribution for Multimodal Agentic Learner
双粒度智能体记忆与 Shapley 上下文归因的多模态学习框架
🧭 多模态 Agent 记忆与检索优化 ★ 深度解读
UC Merced · Shanghai Jiao Tong University
冻结多模态大模型配外部双粒度记忆，用 Shapley 归因优化规则检索，提升科学推理基准
📌 工作参考价值（4 点）
- 检索增强场景中，把“相似度检索”升级为“相似度 + 历史效用”的组合排序：用 Shapley/边际贡献离线计算每个知识条目（规则、策略、案例）的效用，避免上下文里塞进相似但无效甚至误导的条目；推荐系统里可类比给召回 item 或策略规则打分。
- 双粒度记忆架构值得直接迁移：实例级 case 与类别级规则/策略分开存储，中间层只从抽象规则生成类别记忆，避免具体样本细节污染类别级归纳；电商/Agent 中可将用户行为轨迹与商品属性规则、query 意图分存。
- 概念类别空间无需预定义 taxonomy，用 LLM 在线增量生成类别并序列化更新，动态贴合语料分布；适合电商 query 意图聚类、商品概念动态归类，避免固定分类过粗或过细。
- 工程上无需梯度更新，只依赖 gold answer 作为监督，可在闭源/端侧模型上快速构建外部记忆；训练时用 temperature 采样 rollouts 构建记忆，测试时只读，适合低成本复用现有大模型能力。